<!DOCTYPE html>
<html lang="ru">
<head>
<meta charset="utf-8">
<meta http-equiv="Cache-Control" content="no-cache">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<link rel="stylesheet" href="../../katex/katex.css">
<link rel="stylesheet" type="text/css" href="../../include/print.css">
<link rel="shortcut icon" href="../../favicon.ico">
<script defer src="../../katex/katex.js"></script>
<title>Гольдин</title>
</head>
<body onload="renderMathInElement(document.body, KATOPT);">

<h1>АРХИВ ПУБЛИКАЦИЙ ОБУЧАЮЩИХСЯ И СОТРУДНИКОВ СУНЦ УрФУ</h1>

<header>
   УДК 371.261   

   О конструировании бинарных динамических оценочных систем

   <nobr>А. М. Гольдин</nobr>
</header>

<aside>
   Предлагаемая статья была опубликована в 2012 году в журнале «Управление современной школой» (№ 1, с. 61--71), однако, на наш взгляд, не утратила своей актуальности и сегодня, особенно в условиях СУНЦ УрФУ. Предлагается подход к конструированию шкал для оценки личных учебных достижений обучающихся, основанный на концепциях умений-индикаторов и семанти­ческих сетей.


   <i>Ключевые слова:</i> мониторинг личных образовательных достижений, качество об­разования, оценочная шкала, отметка, педагогические измерения.
</aside>

<article>
   
Различные образовательные системы по-разному понимают функ­цию оцен­ки личных учебных достижений обучающихся и используют различные оценоч­ные системы [6, с. 3]. Если в открытых образователь­ных системах целью обучения является максимально полное (в существую­щих условиях) раскрытие личностного потенциала каждого ученика, развитие его индивидуального знания-органа [3; 4] и использу­ется, как правило, порядковая или дескриптивная оценка, то царящая сего­дня традиционная классно-урочная система, основанная на парадиг­ме пансо­физма Я. Коменского, оперирует понятием «обязательные ре­зультаты обучения» (будь то пресловутые знания, умения и навыки или ключе­вые компетентности) и использует количественные оценочные шкалы.

Изменения в подходах к оценке, происходящие в последние годы, коснулись в основном итоговой аттестации; текущий контроль учебных достижений по-прежнему основан на старой доброй пятибалльной систе­ме, введенной (после многолетнего перерыва) постановлением СНК РСФСР от 10 января 1944 года № 18. Время от времени раздаются при­зывы «размельчить» оценочную шкалу, перейдя, например, на 12-балль­ную [2] или 10-балльную систему отметок (что реа­лизовано в постсовет­ских Украине, Молдавии, Белоруссии, Латвии) или, нао­борот, ввести по ряду предметов (изобразительное искусство, музыка, физическая культу­ра) двухбалльную систему «зачтено -- не зачтено».

В настоящей работе мы предлагаем подход к конструированию оце­ночных шкал, основанный на концепциях <i>умений-индикаторов</i> [5, с. 104--110] и <i>семанти­ческих сетей</i> [10].

<h>Умения-индикаторы</h>

Заметим прежде всего, что развитие знания-органа в открытых образова­тельных системах или достижение обязательных результатов обу­чения в классно-урочной системе -- не самоцель, а лишь средство, обес­печивающее адап­тацию ин­дивида в культурной и ма­териальной среде. Такая адаптация происходит благодаря умениям -- «способности лично­сти к эффективному выполнению опре­деленной дея­тельности на основе имеющихся знаний в измененных или новых усло­виях» [7, с. 8]. Таким образом, с точки зрения мониторинга каче­ства образова­ния и личных учебных достижений индивида (а это основная функция оценки в любой образова­тельной системе [1, с. 11--22]) умение можно рассматривать как <i>ин­дикатор</i> (<i>indicator</i>, лат. -- указатель) как знания, так и, более общо, результата обучения в целом.

Отметим, что если в классно-урочной системе речь, как правило, идет о не­ких <i>обязательных</i> умениях (сопоставимых с эталонами [1, с. 164--165]), то откры­тые образовательные системы исходят из тезиса об индивидуальности структуры умений каж­дого обучающегося. Поэтому под умениями-индикаторами мы понима­ем в первую очередь некие <i>ин­тегральные</i> умения (может быть, не формируемые в процессе обучения напрямую), наличие которых позволяет сделать вывод о разви­тости зна­ния-органа (в открытых образовательных системах) или о достижении обязательных результатов обучения (в традиционной системе).

Приведем простой пример. Предположим, вы обучаете ребенка предсказы­вать погоду. Если в качестве индикаторов взять умения опре­делять скорость ветра, направление движения облаков или процент влажности воздуха, это будут, без­условно, индикаторы знаний и умений, планово формируемых по учебным про­граммам. Для измерения уровня развития знания-органа или достижения обяза­тельного результата обу­чения все эти умения абсолютно не важны -- единствен­ным индикато­ром здесь может служить правильность или неправильность прогно­за. Последнее и яв­ляется тем универсальным индикатором, по которому мы можем судить о зрелости знания -- независимо от парадигмы той образо­вательной систе­мы, в которой оно сформировано или развито.

Конечно, не все так просто. Горькая правда состоит в том, что со времени внедрения в практику классно-урочной системы Я. Коменско­го (1652) не только образование, но и науки Нового времени развивались под мощным воздействием классно-урочных процедур, превращаясь по­степенно из живого знания в формали­зованные замкнутые грамматики. Поэтому отбор умений-индикаторов, кажущийся не таким сложным в «практических» областях типа игры на рояле, шитья сапог или пилотиро­вания самолета, является очень тонким делом в традиционных знако­воориентированных предметах типа математики или химии. Если, напри­мер, в русском языке в качестве индикатора вполне подойдет умение гра­мотно писать из­ложение (и совершенно не важно при этом, знаете ли вы правила), то что есть на­стоящее знание математики? Ведь не знание же наизусть теорем и формул? И ка­кие умения могут служить индикатором подлинного, живого (т. е. развитого в себе, а не «выученного») знания ма­тематики?

Ситуация усугубляется еще и тем, что, реализуя какие бы то ни бы­ло образо­вательные системы, мы делаем это в существующих усло­виях. Поэто­му единственным реальным вариантом представляется отбор умений-индикаторов в соответствии с действующими образователь­ными стандартами, но с условием, что эти умения являются универсаль­ными в том смысле, что обеспечиваются как знаковоопосредованными знания­ми, так и знанием-органом.

<h>Семантическая сеть умения</h>

Отбор совокупности умений-индикаторов является весьма трудной задачей, однако не менее трудна для анализа и «внутренняя структура» умения. Такой ана­лиз, однако, совершенно необходим -- именно для по­строения перечня умений­-индикаторов, для определения «уровня», или «степени размельчения» этих уме­ний. В отличие от традиционного взгля­да на «внутреннее устройство» умения как на совокупность операций [2, с. 58--68], мы предлагаем взгляд на структуру уме­ния как на <i>семантиче­скую сеть</i>; поясним это понятие на близком нам примере из математики.

Рассмотрим умение решать квадратное уравнение (только лишь для приме­ра, не утверждая при этом, что его можно использовать в каче­стве индикатора!) Его решение основано на ряде «нижестоящих» умений, которые, в свою очередь, «распадаются» на еще более «мелкие». Такую структуру удобно моделировать с помощью ориентированного графа [8], который мы и будем, следуя [10], называть семантической сетью уме­ния (в теории графов под сетью понимается нагружен­ный граф, поэтому се­мантическая сеть не является, строго говоря, сетью в терми­нах теории графов). В узлах этой сети располагаются умения, а ориентированные ре­бра соединяют родительские и дочерние умения (в рассматриваемом при­мере мы будем использовать направление от родительского умения к до­чернему).

В данной модели умению решать квадратные уравнения соответ­ствует се­мантическая сеть, изображенная на рисунке.

[img 1.svg 10 Семантическая сеть умения]

Безусловно, выде­ленные умения можно было бы «размельчать» и далее, мы приводим данную сеть в качестве иллюстрации. Ее узлы яв­ляются сле­дующими умениями:

<table>
<tr><th>Номер<br>узла</th><th>Умение</th></tr>
<tr><td>1</td><td>Решение квадратного уравнения</td></tr>
<tr><td>2</td><td>Определение типа уравнения: полное, неполное, приведенное</td></tr>
<tr><td>3</td><td>Приведение уравнения к каноническому виду $ax^2 + bx + c = 0$ и опреде­ление коэффициентов $a$, $b$, $c$</td></tr>
<tr><td>4</td><td>Решение неполного квадратного уравнения</td></tr>
<tr><td>5</td><td>Решение приведенного квадратного уравнения по теореме, обратной теореме Виета</td></tr>
<tr><td>6</td><td>Вычисление корней уравнения по формуле корней</td></tr>
<tr><td>7</td><td>Вычисление дискриминанта уравнения и определение его зна­ка</td></tr>
<tr><td>8</td><td>Извлечение квадратного корня или вынесение множителя из-под знака радикала</td></tr>
<tr><td>9</td><td>Преобразования алгебраических и числовых выражений и арифметиче­ские действия с вещественными числами</td></tr>
</table>

Заметим, что семантическая сеть не является деревом: умение, например, со­вершать арифметические действия с вещественными числа­ми является дочерним для <i>нескольких</i> родительских узлов сети. Поэтому при построении семантической сети умения крайне важно избежать <i>се­мантических апорий</i>, то есть, говоря языком теории графов, цикличе­ских ориентированных маршрутов. Эта проблема, впро­чем, является предметом отдельного анализа.

<h>Бинарная динамическая оценочная система</h>

Конструирование предлагаемой оценочной системы начинается с формиро­вания перечня умений, являющихся результатом изучения кур­са (этот алгоритм от­носится, конечно, в большей степени к традиционной классно-урочной системе; в открытых образовательных системах фор­мирование перечня умений-индикаторов является гораздо более слож­ным). В традиционной практике разумнее ориентиро­ваться на преду­смотренные программой и тематическим планированием курса контрольные точки, формируя для каждой из них свою часть перечня.

Далее для каждого умения, входящего в перечень, составляется семантиче­ская сеть дочерних умений (подобно тому, как мы сделали это для умения решать квадратные уравнения). Итогом является общая се­мантическая сеть (<i>онтология</i> изучаемого курса или его части), возможно, состоящая из нескольких связных компонент.

Следующий этап чрезвычайно важен: в полученной онтологии (еди­ной се­мантической сети курса) необходимо выделить умения-индикато­ры, которые и ста­нут предметом оценивания. Эту работу следует прово­дить, помня о трех принци­пах:

1) совокупность выделенных умений-индикаторов вместе со всеми их дочер­ними умениями должна составлять всю онтологию курса (то есть всю объединен­ную семантическую сеть);

2) выделять следует именно <i>индикаторы</i> (об этом мы говорили вы­ше), то есть те умения, которые свидетельствуют о сформированности зна­ния-органа, лич­ных средств познания мира, когнитивных, креатив­ных и других базовых компе­тентностей;

3) отобранные индикаторы должны сопровождаться четкими крите­риями, позволяющими определить, сформировано соответствующее уме­ние или нет. По­нятно, что элемент субъективности при оценке сформиро­ванности умения будет всегда, но следует стремиться к максимально воз­можной объективности соответ­ствующего критерия.

Грубо говоря, работа по отбору умений-индикаторов сводится к ре­шению множества вопросов типа «брать в качестве индикатора умение А или же его до­черние умения B, C и D (или вместо D его дочерние умения D1 и D2 и т. д.)?» По­нятно при этом, что слишком уж «размельчать» ин­дикаторы было бы неправильн­ым: многие умения не сводимы к совокуп­ности своим дочерних.

Умения-индикаторы разумно разбить на группы в соответствии с периодами промежуточной аттестации (например, перечень умений, формируемых во второй четверти). Таким образом, в каждом учебном пе­риоде у нас появляются индикато­ры двух типов, в зависимости от того, формируются ли соответствующие умения в данном периоде или должны были быть сформированы ранее. Последние индика­торы будем условно называть <i>базовыми</i>.

Собственно оценочная система предлагается бинарной и динамиче­ской. По­ясним оба этих термина.

Наличие или отсутствие каждого умения-индикатора оценивается по двух­балльной (0 или 1), или <i>бинарной</i>, шкале отметок. Важно, что эта отметка является <i>динамической</i>, то есть может неоднократно меняться в ходе текущего мониторинга учебных достижений обучающихся. Опишем, какой нам представляется соответ­ствующая процедура мониторинга.

На каждое задание, включенное в процедуру контроля (контроль­ную работу, задание для практической работы, проблему для развернуто­го устного ответа и т. д.) составляется <i>семантическая сеть задания</i> с вы­делением в ней умений-индика­торов. Этот процесс рассмотрен нами вы­ше: составление общей семантической се­ти (онтологии) курса или его раздела происходит одновременно с этой работой применительно к каж­дой контрольной точке курса. Нечто подобное уже было в поздней совет­ской школе, когда вместе с так называемыми «срезами знаний» предла­галась и схема анализа допущенных учащимися ошибок, являющаяся по су­ти семантической сетью умений, востребуемых конкретным заданием.

При проверке письменного задания (или заслушивании устного от­вета) оце­нивается сформированность умений-индикаторов и по каждому из них выстав­ляется отметка 0 или 1. Никаких других отметок (как в традиционной системе) не выставляется.

Отметим, что одно задание, например, контрольной работы может выявлять сформированность нескольких индикаторов. Более того, совер­шенно естественной и уместной является форма мониторинга, которую можно условно назвать «попут­ной»: отслеживание сформированности ин­дикаторов может происходить не только напрямую, а и в ходе как теку­щей учебной работы, так и контрольных мероприя­тий, направленных на выявление других умений. Если, например, в ходе решения логарифми­ческого уравнения ученик демонстрирует умение решать квадратное, ни­кто не мешает выставить ему 1 за умение решать квадрат­ные уравне­ния.

Принципиальным свойством предлагаемой оценочной шкалы яв­ляется ее <i>динамичность</i>. Если в процессе мониторинга обнаружится, что какое-то ранее сформированное умение-индикатор учащимся утрачено, соответствующая отметка 1 заменяется на 0. Это «колебание» в ту и дру­гую сторону может происходить многократно, причем не только по инди­каторам текущего учебного периода (чет­верти, семестра), но и по базо­вым, ранее сформированным умениям-индикаторам. С переходом к фик­сации результатов мониторинга учебных достижений в элек­тронной фор­ме такую динамичность отметок несложно реализовать технически.

<h>Отметки промежуточной аттестации</h>

На основе бинарной динамической оценочной шкалы достаточно легко конструируется механизм определения отметки промежуточной ат­тестации за учебный период (четверть, полугодие, год). Понятно, что в су­ществующих сегодня условиях такую отметку приходится выставлять по пятибалльной системе.

Наиболее простым является выставление отметки в зависимости от процен­та умений-индикаторов, за которые стоит отметка 1. Могут быть предложены раз­личные критерии (например, отметка «3» за 50% сфор­мированных на конец учеб­ного периода умений-индикаторов, «4» за 70%, «5» за 90%). Важным при этом яв­ляется вопрос о том, какой массив уме­ний-индикаторов использовать для опреде­ления отметки промежуточной аттестации: только за данный учебный период или включая некие базо­вые (ранее сформированные) индикаторы, возможно не все. Наконец, ни­кто не мешает шкалировать результаты текущего мониторинга сфор­мированности умений-индикаторов подобно тому, как это делается, например, при проведении единого государственного экзамена [9].

Более сложным является подход, когда для определения отметки промежу­точной аттестации умения-индикаторы используются с некото­рыми весовыми ко­эффициентами. Подбор таких коэффициентов требует отдельного исследования: понятно, например, что количество дочерних учений данного умения-индикатора в его семантической сети вряд ли может быть взято в качестве весового коэффици­ента. По-видимому, на первом этапе конструирования предлагаемой оценочной шкалы не сле­дует использовать весовые коэффициенты, сосредоточившись на тща­тельном отборе умений-индикаторов примерно равного «веса».

<h>Эффективность оценочной системы</h>

Безусловно, предлагаемая оценочная система не является совсем новой. Би­нарная оценка используется, например, при проверке тестовой части единого госу­дарственного экзамена (правда, с тем принципиальным отличием, что в ЕГЭ оце­ниваются задания в целом, а не сформирован­ность специально отобранных уме­ний-индикаторов). Критерии оценки заданий с развернутым решением тоже представляют собой (в сильно грубом приближе­нии) шкалу сформированности соотвествующих умений. Наконец, ис­пользуемые сегодня при тестовой системе оценки различные процеду­ры и модели шкалирования [9] также имеют много общего с предлагаемым нами подходом; следует, правда, отметить, что шкалирование результа­тов ЕГЭ, напри­мер, никак не учитывает структуру онтологии курса или «насыщенность умения­ми» включенных в тест заданий.

Тем не менее в текущем мониторинге учебных достижений пока повсемест­но используется традиционная пятибалльная система отметок. Важным поэтому является вопрос об оценке эффективности различных оценочных систем, о критериях выбора той или иной из них. Выскажем лишь предварительные соображения на этот счет.

Главным аргументом в пользу предлагаемой системы (нуждающим­ся, впро­чем, в валидной верифи­кации) является тезис о большей объек­тивности и про­зрачности, понят­ности для учащихся бинарной отметки по сравнению, например, с 5-балльной или 12-балльной. Конечно, опреде­ляющим при этом является на­личие соответствующих критериев; нам, од­нако, представляется, что разработать критерий типа «есть -- нет» суще­ственно проще, чем хотя бы в какой-то степени объективную 5-балльную шкалу оценки уровня сфор­мированности того или иного умения.

Наконец, о собственно критериях эффективности. Пока из таких критериев на поверхности лежит только один: коэффициент корреляции между отметками промежуточной и итоговой аттестации. Если принять в качестве разумного допу­щения (пусть и с многочисленными оговорками), что процедуры государственной итоговой аттестации измеряют уровень освоения образовательных программ (или, применительно к открытым образовательным системам, уровень сформированно­сти знания-органа) достаточно объективно, то высокий коэффициент корреляции между от­метками промежуточной и итоговой аттестации будет с достаточной сте­пенью надежности свидетельствовать об эффективности и низкой степе­ни субъек­тивности оценочной системы, применяемой на этапе теку­щего мониторинга учеб­ных достижений.

</article>

<section>
   
1. Амонашвили, Ш. А. Воспитательная и образовательная функция оценки учения школьников : Экспериментально-педагогическое исследо­вание / Ш. А. Амонашвили. -- М. : Пе­дагогика, 1984.

2. Беспалько, В. П. Слагаемые педагогической технологии / В. П. Беспалько. -- М. : Педагоги­ка, 1989.

3. Гольдин, А. М. К построению модели знания в парадигме М. А. Ба­лабана / А. М. Гольдин // Вопросы психологии. -- 2002. -- № 1. -- С. 104--110.

4. Гольдин, А. М. Образование 2.0: модный термин или новое содер­жание? / А. М. Гольдин // Вопросы образования. -- 2010. -- № 2. -- С. 224--237.

5. Гольдин, А. М. Образовательная система «Школа-парк»: теория и практика / А. М. Гольдин. -- Екатеринбург : Полиграфист, 2002.

6. Гузеев, В. В. Оценка, рейтинг, тест / В. В. Гузеев // Школьные технологии. -- 1998. -- № 3. -- Часть III.

7. Селевко, Г. К. Современные образовательные технологии / Г. К. Селевко. -- М. : На­родное образование, 1998.

8. Уилсон, Р. Введение в теорию графов / Р. Уилсон. -- М. : Мир, 1977.

9. Об утверждении методики определения минимального количества баллов единого государственного экзамена, подтверждающего освоение образовательной программы среднего общего образования, и минимального количества баллов единого государственного экзамена, необходимого для поступления в образовательные организации высшего образования на обучение по программам бакалавриата и программам специалитета : Распоряжение Федеральной службы по надзору в сфере образования и науки от 16.07.2019 № 1122--10. -- Текст : электронный. -- URL: http://obrnadzor.gov.ru/wp-content/uploads/2020/12/metodika-shkalirovaniya-1122-10.pdf (дата обращения: 11.07.2021). -- Режим доступа: свободный.

10. Roussopoulos N. D. A semantic network model of data bases : Doctoral Dissertation / N. D. Roussopoulos ; University of Toronto, Department of Computer Science. -- 1976. -- TR No 104.

</section>

<footer>   
   <i>Гольдин Александр Миронович</i> – учитель кафедры математики (<nobr>e-mail: a.m.goldin@urfu.ru</nobr>).

   &copy; <nobr>Гольдин А. М.</nobr>, 2021.

   Статья поступила в редакцию 11.07.2021
</footer>

<script src="../../js/print.js"></script>
</body>
</html>
